津山城の北約５００ｍのところにある衆楽園は、江戸時代の明暦年間 （1655〜1657) に津山藩二代藩主、森長継が

京都から作庭師を招き仙洞御所 （京都） を模して造営したといわれている庭園で、当時は現在の３倍の面積があった。

藩主別邸として使用されていたがのち他藩との対面所に使われ 「御対面所」 「北園」 [北屋敷」 ともよばれた。

この庭園は中国山地を借景として、南北に細長い池に紅葉島、浮島、中島、霧島の四つの島を一直線上に配した近世池泉回遊式の大名庭園で

庭園内の建造物は当時のままでは現存していないが、それらを再現した建物 （余芳閣・迎賓館・風月軒など） が建っている。

平成１４年９月には、「 旧津山藩別邸庭園 （衆楽園） 」 として国の名勝に指定された。